JSAI2026 MCP ツール呼び出し最適化におけるモデル強度の影響分析
MCPツール呼び出しで、小規模LLMの性能を上げるための「ツール検索＋ツール記述最適化」を評価
MCP（Model Context Protocol）
「作る人」と「使う人」が違う
汎用的に作る
特定業務で個別具体的なタスクで使う。一部のツールだけ使う。
作成側と利用側のギャップ
選択ミス、引数ミスに現れる
RQs
ツールコンテキスト最適化最適の効果はモデル能力にどう依存するか？
記述バリアントの最適な選択はモデルやドメインによって異なるか？
手法
ツール集合から関連ツールをRAGで絞り込む
ツール説明文を複数パターンに書き換える
検証
能力の異なる6モデル * 6ドメイン
結果
弱いモデル（Gemma 3 4B, Granite 3.3 8B）ほど改善効果が大きい
ベースラインが高い（＝すでに強い）モデルでは、逆に性能が下がる場合がある
ツールの説明文は「記述は短く・詳しく」が常に良いとは限らない（ドメイン依存）
File System系では簡潔な説明が有効な傾向
Pay系では原文のドメイン固有情報が効く場合がある
Browser系では詳細説明が類似ツールの区別に効く場合がある
→ MCPツール提示最適化は、適用条件を見て使い分ける
#聴講メモ